Mining the Bilinear Structure of Data with Approximate Joint Diagonalization

International audienceApproximate Joint Diagonalization of a matrix set can solve the linear Blind Source Separation problem. If the data possesses a bilinear structure, for example a spatio-temporal structure, transformations such as tensor decomposition can be applied. In this paper we show how the linear and bilinear joint diagonalization can be applied for extracting sources according to a composite model where some of the sources have a linear structure and other a bilinear structure. This is the case of Event Related Potentials (ERPs). The proposed model achieves higher performance in term of shape and robustness for the estimation of ERP sources in a Brain Computer Interface experiment

Approximate Joint Diagonalization within the Riemannian Geometry Framework

International audienceWe consider the approximate joint diagonalization problem (AJD) related to the well known blind source separation (BSS) problem within the Riemannian geometry framework. We define a new manifold named special polar manifold equivalent to the set of full rank matrices with a unit determinant of their Gram matrix. The Riemannian trust-region optimization algorithm allows us to define a new method to solve the AJD problem. This method is compared to previously published NoJOB and UWEDGE algorithms by means of simulations and shows comparable performances. This Riemannian optimization approach thus shows promising results. Since it is also very flexible, it can be easily extended to block AJD or joint BSS

Approximate joint diagonalization with Riemannian optimization on the general linear group

International audienceWe consider the classical problem of approximate joint diagonalization of matrices, which can be cast as an optimization problem on the general linear group. We propose a versatile Riemannian optimization framework for solving this problem-unifiying existing methods and creating new ones. We use two standard Riemannian metrics (left-and right-invariant metrics) having opposite features regarding the structure of solutions and the model. We introduce the Riemannian optimization tools (gradient, retraction, vector transport) in this context, for the two standard non-degeneracy constraints (oblique and non-holonomic constraints). We also develop tools beyond the classical Riemannian optimization framework to handle the non-Riemannian quotient manifold induced by the non-holonomic constraint with the right-invariant metric. We illustrate our theoretical developments with numerical experiments on both simulated data and a real electroencephalographic recording

Réduction de dimension pour la Séparation Aveugle de Sources

National audienceIn this article, we consider the dimension reduction problem in the context of blind source separation. We propose (1) a new model based on approximate joint block diagonalization, which allows to find the sources along with their subspace simultaneously, and (2), a Riemannian optimization approach to solve it, original in this context. Our model recovers sources that are independant from the noise and less sensible to the à priori estimation of the number of sources. The efficiency of our model as compared to the state of the art is illustrated through the source separation of an electroencephalographic recording.Dans cet article, nous considérons le problème de la réduction de dimension dans le cadre de la séparation aveugle de sources. Nous proposons (1) un nouveau modèle basé sur la diagonalisation par blocs conjointe qui permet de retrouver simultanément les sources et leur sous-espace et (2), une approche par optimisation Riemannienne pour le résoudre, originale dans ce contexte. Notre modèle produit des sources indépendantes du bruit et moins sensibles à l'estimation à priori du nombre de sources. L'efficacité de notre modèle par rapport à l'état de l'art est illustré sur la séparation de sources d'un enregistrement électroencéphalographique

Nouvelles raisons d’agir des acteurs de la pêche et de l’agriculture

Les acteurs de la pêche et de l’agriculture (professionnels, institutions d'enseignement, techniciens, organisations professionnelles et syndicales, politiques et législateurs, chercheurs, consommateurs…) font l'expérience de l’évolution des techniques et des droits à produire et à prélever la ressource vivante. Les agriculteurs et les pêcheurs se questionnent sur les raisons de faire leur métier, de s’y maintenir et de le transformer par de nouveaux modes de transmission, de débat et par de nouvelles solidarités. Les auteurs, des chercheurs en sciences sociales et des professionnels des deux filières, examinent les situations les plus propices au développement de nouvelles raisons d'agir et de nouveaux savoirs : débats sur la gestion des ressources renouvelables, décisions relatives au contenu du métier et à sa transmission, mutations professionnelles ou encore nouvelle division du travail. Les situations présentées permettent un éclairage contrasté des secteurs de la pêche et de l'agriculture, et plus particulièrement : – de l’évolution des raisons d’agir et des savoirs des professionnels, des scientifiques, des législateurs mais aussi des nouveaux arrivants, notamment dans leur rapport à l’écologie. Comment de nouvelles raisons d’agir et de nouveaux savoirs émergent-ils des divisions et des conflits ? – des transformations du travail et de la formation professionnelle dans les deux secteurs. Comment les référentiels de formation et les pratiques didactiques modifient-ils les enjeux cognitifs, environnementaux, économiques et sociaux des activités de pêche et d’agriculture ? Ces questions majeures intéresseront à la fois les pêcheurs et les agriculteurs, les concepteurs de politiques publiques et les scientifiques

Generalization optimizing machine learning to improve CT scan radiomics and assess immune checkpoint inhibitors’ response in non-small cell lung cancer: a multicenter cohort study

BackgroundRecent developments in artificial intelligence suggest that radiomics may represent a promising non-invasive biomarker to predict response to immune checkpoint inhibitors (ICIs). Nevertheless, validation of radiomics algorithms in independent cohorts remains a challenge due to variations in image acquisition and reconstruction. Using radiomics, we investigated the importance of scan normalization as part of a broader machine learning framework to enable model external generalizability to predict ICI response in non-small cell lung cancer (NSCLC) patients across different centers.MethodsRadiomics features were extracted and compared from 642 advanced NSCLC patients on pre-ICI scans using established open-source PyRadiomics and a proprietary DeepRadiomics deep learning technology. The population was separated into two groups: a discovery cohort of 512 NSCLC patients from three academic centers and a validation cohort that included 130 NSCLC patients from a fourth center. We harmonized images to account for variations in reconstruction kernel, slice thicknesses, and device manufacturers. Multivariable models, evaluated using cross-validation, were used to estimate the predictive value of clinical variables, PD-L1 expression, and PyRadiomics or DeepRadiomics for progression-free survival at 6 months (PFS-6).ResultsThe best prognostic factor for PFS-6, excluding radiomics features, was obtained with the combination of Clinical + PD-L1 expression (AUC = 0.66 in the discovery and 0.62 in the validation cohort). Without image harmonization, combining Clinical + PyRadiomics or DeepRadiomics delivered an AUC = 0.69 and 0.69, respectively, in the discovery cohort, but dropped to 0.57 and 0.52, in the validation cohort. This lack of generalizability was consistent with observations in principal component analysis clustered by CT scan parameters. Subsequently, image harmonization eliminated these clusters. The combination of Clinical + DeepRadiomics reached an AUC = 0.67 and 0.63 in the discovery and validation cohort, respectively. Conversely, the combination of Clinical + PyRadiomics failed generalizability validations, with AUC = 0.66 and 0.59.ConclusionWe demonstrated that a risk prediction model combining Clinical + DeepRadiomics was generalizable following CT scan harmonization and machine learning generalization methods. These results had similar performances to routine oncology practice using Clinical + PD-L1. This study supports the strong potential of radiomics as a future non-invasive strategy to predict ICI response in advanced NSCLC

Géométrie et optimisation riemannienne pour la diagonalisation conjointe : application à la séparation de sources d'électroencéphalogrammes

The approximate joint diagonalisation of a set of matrices allows the solution of the blind source separation problem and finds several applications, for instance in electroencephalography, a technique for measuring brain activity.The approximate joint diagonalisation is formulated as an optimization problem with three components: the choice of the criterion to be minimized, the non-degeneracy constraint on the solution and the solving algorithm.Existing approaches mainly consider two criteria, the least-squares and the log-likelihood.They are specific to a constraint and are limited to only one type of solving algorithms.In this thesis, we propose to formulate the approximate joint diagonalisation problem in a geometrical fashion, which generalizes previous works and allows the definition of new criteria, particularly those linked to information theory.We also propose to exploit Riemannian optimisation and we define tools that allow to have the three components varying independently, creating in this way new methods and revealing the influence of the choice of the model.Numerical experiments on simulated data as well as on electroencephalographic recordings show that our approach by means of Riemannian optimisation gives results that are competitive as compared to existing methods.They also indicate that the two traditional criteria do not perform best in all situations.La diagonalisation conjointe approximée d’un ensemble de matrices permet de résoudre le problème de séparation aveugle de sources et trouve de nombreuses applications, notamment pour l’électroencéphalographie, une technique de mesure de l’activité cérébrale.La diagonalisation conjointe se formule comme un problème d’optimisation avec trois composantes : le choix du critère à minimiser, la contrainte de non-dégénérescence de la solution et l’algorithme de résolution.Les approches existantes considèrent principalement deux critères, les moindres carrés et la log-vraissemblance.Elles sont spécifiques à une contrainte et se restreignent à un seul type d’algorithme de résolution.Dans ce travail de thèse, nous proposons de formuler le problème de diagonalisation conjointe selon un modèle géométrique, qui généralise les travaux précédents et permet de définir des critères inédits, notamment liés à la théorie de l’information.Nous proposons également d’exploiter l’optimisation riemannienne et nousdéfinissons un ensemble d’outils qui permet de faire varier les trois composantes indépendamment, créant ainsi de nouvelles méthodes et révélant l’influence des choix de modélisation.Des expériences numériques sur des données simulées et sur des enregistrements électroencéphalographiques montrent que notre approche par optimisation riemannienne donne des résultats compétitifs par rapport aux méthodes existantes.Elles indiquent aussi que les deux critères traditionnels ne sont pas les meilleurs dans toutes les situations

Riemannian geometry and optimization for approximate joint diagonalization : application to source separation of electroencephalograms

La diagonalisation conjointe approximée d’un ensemble de matrices permet de résoudre le problème de séparation aveugle de sources et trouve de nombreuses applications, notamment pour l’électroencéphalographie, une technique de mesure de l’activité cérébrale.La diagonalisation conjointe se formule comme un problème d’optimisation avec trois composantes : le choix du critère à minimiser, la contrainte de non-dégénérescence de la solution et l’algorithme de résolution.Les approches existantes considèrent principalement deux critères, les moindres carrés et la log-vraissemblance.Elles sont spécifiques à une contrainte et se restreignent à un seul type d’algorithme de résolution.Dans ce travail de thèse, nous proposons de formuler le problème de diagonalisation conjointe selon un modèle géométrique, qui généralise les travaux précédents et permet de définir des critères inédits, notamment liés à la théorie de l’information.Nous proposons également d’exploiter l’optimisation riemannienne et nousdéfinissons un ensemble d’outils qui permet de faire varier les trois composantes indépendamment, créant ainsi de nouvelles méthodes et révélant l’influence des choix de modélisation.Des expériences numériques sur des données simulées et sur des enregistrements électroencéphalographiques montrent que notre approche par optimisation riemannienne donne des résultats compétitifs par rapport aux méthodes existantes.Elles indiquent aussi que les deux critères traditionnels ne sont pas les meilleurs dans toutes les situations.The approximate joint diagonalisation of a set of matrices allows the solution of the blind source separation problem and finds several applications, for instance in electroencephalography, a technique for measuring brain activity.The approximate joint diagonalisation is formulated as an optimization problem with three components: the choice of the criterion to be minimized, the non-degeneracy constraint on the solution and the solving algorithm.Existing approaches mainly consider two criteria, the least-squares and the log-likelihood.They are specific to a constraint and are limited to only one type of solving algorithms.In this thesis, we propose to formulate the approximate joint diagonalisation problem in a geometrical fashion, which generalizes previous works and allows the definition of new criteria, particularly those linked to information theory.We also propose to exploit Riemannian optimisation and we define tools that allow to have the three components varying independently, creating in this way new methods and revealing the influence of the choice of the model.Numerical experiments on simulated data as well as on electroencephalographic recordings show that our approach by means of Riemannian optimisation gives results that are competitive as compared to existing methods.They also indicate that the two traditional criteria do not perform best in all situations

Elliptical Wishart Distribution: Maximum Likelihood Estimator from Information Geometry

This work deals with elliptical Wishart distributions on the set of symmetric positive definite matrices. It contains two major contributions. First, the information geometry associated with elliptical Wishart distributions is derived. Second, this geometry is leveraged to propose Riemannian-optimization-based maximum likelihood estimators of any elliptical Wishart distribution. Particular attention is given to two specific distributions: the t- and Kotz Wishart ones. The performance of the proposed methods is assessed through numerical experiments on simulated data

Distribution matricielle t-Wishart : géométrie d'information, estimation et application pour la classification de signaux EEG

This paper deals with the t-Wishart distribution defined on the set of positive definite symmetric matrices. It containstwo contributions. First, the information geometry associated with the t-Wishart distribution is studied and a maximum likelihoodestimator based on Riemannian optimization is derived. In addition, this article proposes a new method to classify covariancematrices using the t-Wishart distribution. The proposed classifier is obtained by leveraging the discriminant analysis frameworkand by providing an original decision rule. The performance of proposed estimator are evaluated on simulated data. Moreover,the practical interest of our new classifier is assessed on real electroencephalographical (EEG) data. More precisely, the proposedclassifier performs better than the reference minimum distance to mean (MDM) classifier on a standard motor imagery (MI) EEGdataset.Ce papier s'intéresse à la distribution t-Wishart définie sur l'ensemble des matrices symétriques définies positives. Il contient deux contributions. Tout d'abord, l'étude de la géométrie de l'information associée à la distribution t-Wishart avec à la clé un estimateur du maximum de vraisemblance basé sur l'optimisation riemannienne. Par ailleurs, la distribution t-Wishart est utilisée pour développer une nouvelle méthode de classification des matrices de covariance. Le classifieur proposé est obtenu en exploitant le cadre de l'analyse discriminante et en fournissant une nouvelle règle de décision. Les performances de l'estimateur proposé sont évaluées sur des données simulées. De plus, l'intérêt pratique de notre nouveau classifieur est démontré grâce à des expériences numériques sur données électroencéphalographiques (EEG) réelles. Plus précisément, la technique proposée est plus performante que le classifieur de référence en EEG, i.e., celui de distance minimale à la moyenne (minimum distance to mean, MDM) sur un jeu de données EEG standard d'imagerie moteur (motor imagery, MI)